Smell Detection für Testautomatisierung - Was Qualitätssicherung von Automatisierten Tests in der Praxis wirklich bringt.
Agile Softwareentwicklung und Continuous Integration/Deployment (CI/CD) sind ohne zuverlässige Testautomatisierung undenkbar. Aber was, wenn unsere Test-Skripte selbst Fehler enthalten und (vielleicht sogar unbemerkt) falsche Ergebnisse liefern? Wie reagieren, wenn Testläufe immer wieder abbrechen und keine verlässlichen Aussagen geben? Was tun, wenn die Anpassung/Wartung unserer Testfälle zu aufwändig ist und die Entwicklung ausbremst? Und letztendlich, wie verhindern wir, dass dies alles passiert?
Auch Dataport AöR setzt fest auf Testautomatisierung. In vielen kleinen und großen Projekten wird Testautomatisierung erfolgreich eingesetzt (mit Ranorex). Dabei leiden wir (genauso wie viele Unternehmen) an den oben beschriebenen Problemen.
Unser Ansatz um das Problem anzugehen: Strukturierte Qualitätssicherung unserer Tests mit Hilfe von automatischer Erkennung von Test Automation Smells: Ein Plugin für Ranorex hilft uns, typische Probleme wie instabile Objekterkennung, schwer verständliche Module, ungenutzte Variablen (und vieles mehr) automatisch zu erkennen - ähnlich wie eine Rechtschreibprüfung. Dadurch kann der Testautomatisierer diese sofort beheben und die Probleme manifestieren sich gar nicht erst in der Test-Suite.
Wir haben diesen Ansatz ein Jahr lang in zwei Projekten bei Dataport eingesetzt und berichten über unsere Erfahrungen damit. Während dieser Zeit haben wir Daten darüber erhoben wie sich die Stabilität und Durchführungsgeschwindigkeit unserer Test-Suite verändert hat. Darüber hinaus berichten wir von Fallstricken und Best-Practices. Dies hilft jedem Tester der den Gleichen oder einen ähnlichen Ansatz umsetzen möchte.
Christina Schneider
Christina Schneider (M.Sc.) hat in Stuttgart Computer Science and Media studiert. Seit 2015 ist sie bei Dataport in Hamburg tätig. Dort ist sie agile Testerin und seit 2019 Test Lead für mehrere agile Teams.
Dr. Benedikt Hauptmann
Benedikt Hauptmann hat Software Engineering und Informatik studiert und an der TU-München über Qualität von Software Tests promoviert. Er ist Mitgründer und Geschäftsführer von Qualicen. Seine Ambition ist es, Tests zu erstellen, die einfach zu verstehen, auszuführen und zu warten sind. Zu diesen Themen hält er regelmäßig Vorträge für Forschung und Industrie.